Abdul Rahman memenangi DUN Kuala Rajang semasa pilihan raya negeri pada tahun 1970, yang mewakili Parti Bumiputera Sarawak, yang merupakan sebahagian daripada Perikatan Sarawak. Selepas pilihan raya, tidak ada mana-mana pihak yang memegang majoriti yang jelas. Abdul Rahman merancang untuk bekerjasama dengan PESAKA untuk membentuk kerajaan tetapi PESAKA tidak menerima Rahman sebagai Ketua Menteri mereka. Oleh itu, PESAKA berunding dengan Parti Kebangsaan Sarawak (SNAP) dan Parti Rakyat Bersatu Sarawak (SUPP) untuk membentuk kerajaan. Walau bagaimanapun, tanpa pengetahuan SNAP dan PESAKA, SUPP telah secara senyap-senyap berunding dengan Parti Bumiputera untuk membentuk pakatan yang berasingan. Rahman dapat meyakinkan SUPP untuk membentuk kerajaan campuran dengan beliau sebagai Ketua Menteri. Sebagai sebahagian daripada perjanjian itu untuk menyertai gabungan itu, SUPP menuntut bahawa Persatuan Cina Sarawak (SCA) dapat dikeluarkan dari Sarawak Alliance dan dibubarkan kemudian. Tidak lama selepas itu, Temenggung Jugah, Presiden PESAKA, mengumumkan sokongannya kepada kerajaan campuran Rahman, sekali gus meninggalkan SNAP sebagai satu-satunya parti pembangkang di Sarawak. Rahman telah dipanggil oleh Tun Abdul Razak untuk menangani pemberontakan komunis di Sarawak.

Keahlian UMNO

Abdul Rahman telah dilantik sebagai ahli eksekutif Pertubuhan Kebangsaan Melayu Bersatu (UMNO) pada 16 Mei 1965 dalam krisis perlembagaan sarawak pada tahun 1966. Beliau merupakan naib presiden cawangan UMNO Datu Keramat dan merupakan ahli jawatankuasa pusat parti itu walaupun beliau juga merupakan ahli PBB. Pada tahun 1970, Abdul Rahman merupakan salah seorang calon yang bertanding untuk jawatan Naib Presiden UMNO. Rahman menggubal perlembagaan PBB dengan menyesuaikan dari perlembagaan UMNO. Sama dengan struktur parti UMNO, PBB menerima pakai empat tahap birokrasi iaitu Perhimpunan Agung, Majlis Tertinggi, cawangan, dan sub-cawangan. Abdul Rahman mampu untuk mempengaruhi dasar-dasar parti dan pemilihan parti semasa tempoh beliau sebagai presiden PBB dari 1977 hingga 1981.

Dasar pembangunan

Dalam usaha untuk melindungi kepentingan negara, Abdul Rahman mengisytiharkan bahawa dia mengecam slogan "Sarawak for Sarawakians" dan menggantikan dengan "Malaysia for Malaysians" beberapa minggu selepas beliau menjadi ketua menteri. Rahman berhujah bahawa politik serantau bukan sahaja memecahbelahkan tetapi juga boleh merosakkan perpaduan negara. Beliau juga berkata bahawa Sarawak perlu menerima dasar daripada kerajaan pusat kerana "Sarawak menerima banyak wang daripada kerajaan persekutuan. Tanpa bantuan mereka, kita tidak boleh berharap untuk maju begitu cepat." Rahman juga memperkenalkan gerakan dalam Majlis Negri untuk menjadikan Bahasa Melayu bersama-sama dengan bahasa Inggeris sebagai bahasa rasmi Sarawak. Usul itu telah diluluskan dengan sebulat suara pada 26 Mac 1974. Usul ini mendorong kritikan sengit dari Stephen Kalong Ningkan.

Hubungan dengan kerajaan persekutuan Malaysia

Sebelum pilihan raya negeri Sarawak 1974, Rahman mengancam untuk meletak jawatan kerana kekurangan sokongan oleh kerajaan persekutuan untuk menghadapi pilihan raya. Setiausaha Sarawak Abang Yusuf Puteh bertemu dengan Perdana Menteri untuk menyelesaikan isu peruntukan. Abdul Rahman kemudiannya mengubah fikiran dan terus memerintah ke atas Sarawak. Walaupun pergolakan sekali-sekala dengan kerajaan persekutuan, Abdul Rahman umumnya mengekalkan hubungan yang baik dengan kerajaan persekutuan terutama semasa pemerintahan Tun Abdul Razak.

Persaraan

Abdul Rahman menjalani pembedahan jantung di London pada bulan Oktober 1980. Akibat masalah kesihatan, Rahman akhirnya mengambil keputusan untuk berundur daripada jawatan Ketua Menteri semasa melantik anak saudara dan penggantinya, Abdul Taib Mahmud pada 26 Mac 1981. Selepas mengumumkan persaraannya, Rahman berkata bahawa:

Taib akan mengemudi bot dengan kemahiran dan kelajuan yang bagus. Saya tidak lagi mampu untuk mengemudi bot tetapi memadai bahawa saya melambai bendera.

– Komen Abdul Rahman Ya'kub dalam Sarawak Tribune pada 26 Mac 1981.